Script event prediction aims to predict the subsequent event given the context. This requires the capability to infer the correlations between events. Recent works have attempted to improve event correlation reasoning by using pretrained language models and incorporating external knowledge~(e.g., discourse relations). Though promising results have been achieved, some challenges still remain. First, the pretrained language models adopted by current works ignore event-level knowledge, resulting in an inability to capture the correlations between events well. Second, modeling correlations between events with discourse relations is limited because it can only capture explicit correlations between events with discourse markers, and cannot capture many implicit correlations. To this end, we propose a novel generative approach for this task, in which a pretrained language model is fine-tuned with an event-centric pretraining objective and predicts the next event within a generative paradigm. Specifically, we first introduce a novel event-level blank infilling strategy as the learning objective to inject event-level knowledge into the pretrained language model, and then design a likelihood-based contrastive loss for fine-tuning the generative model. Instead of using an additional prediction layer, we perform prediction by using sequence likelihoods generated by the generative model. Our approach models correlations between events in a soft way without any external knowledge. The likelihood-based prediction eliminates the need to use additional networks to make predictions and is somewhat interpretable since it scores each word in the event. Experimental results on the multi-choice narrative cloze~(MCNC) task demonstrate that our approach achieves better results than other state-of-the-art baselines. Our code will be available at \url{https://github.com/zhufq00/mcnc}.

时空视频接地（STVG）的重点是检索由自由形式的文本表达式描绘的特定物体的时空管。现有方法主要将这一复杂的任务视为平行框架的问题，因此遭受了两种类型的不一致缺点：特征对齐不一致和预测不一致。在本文中，我们提出了一个端到端的一阶段框架，称为时空的一致性变压器（STCAT），以减轻这些问题。特别是，我们引入了一个新颖的多模式模板，作为解决此任务的全球目标，该目标明确限制了接地区域并将所有视频框架之间的预测联系起来。此外，为了在足够的视频文本感知下生成上述模板，提出了一个编码器架构来进行有效的全局上下文建模。由于这些关键设计，STCAT享有更一致的跨模式特征对齐和管预测，而无需依赖任何预训练的对象探测器。广泛的实验表明，我们的方法在两个具有挑战性的视频基准（VIDSTG和HC-STVG）上胜过先前的最先进的，这说明了拟议框架的优越性，以更好地理解视觉与自然语言之间的关联。代码可在\ url {https://github.com/jy0205/stcat}上公开获得。

神经网络修剪可以有效地用于压缩自动语音识别（ASR）模型。但是，在多语言ASR中，执行语言不足的修剪可能会导致某些语言的严重性能降解，因为语言 - 敏捷的修剪口罩可能不符合所有语言，并丢弃了重要的语言特定参数。在这项工作中，我们提出了ASR路径，这是一种稀疏的多语言ASR模型，该模型激活了特定语言的子网络（“路径”），从而明确地学习了每种语言的参数。通过重叠的子网络，共享参数还可以通过联合多语言培训来实现较低资源语言的知识传输。我们提出了一种新型算法来学习ASR途径，并通过流式RNN-T模型评估了4种语言的建议方法。我们提出的ASR途径的表现都优于密集模型（平均-5.0％）和语言不足的修剪模型（平均-21.4％），并且与单语稀疏模型相比，低资源语言的性能更好。

现有的自我监督的单眼估计方法可以摆脱昂贵的注释并获得令人鼓舞的结果。但是，当直接采用接受固定分辨率训练的模型以评估其他不同决议时，这些方法会遭受严重的性能降解。在本文中，我们通过学习场景深度的规模不变性，提出了一个分辨率自适应自我监督的单眼估计方法（RA-DEPTH）。具体而言，我们提出了一种简单而有效的数据增强方法，以生成具有任意尺度的同一场景的图像。然后，我们开发了一个双重高分辨率网络，该网络使用具有密集交互的多路径编码器和解码器来汇总多尺度特征，以进行准确的深度推理。最后，为了明确了解场景深度的规模不变性，我们在具有不同尺度的深度预测上制定了跨尺度的深度一致性损失。对Kitti，Make3D和NYU-V2数据集进行了广泛的实验表明，RA-DEPTH不仅可以实现最新的性能，而且还表现出很好的解决能力。

当前的领先错误发音检测和诊断（MDD）系统通过端到端音素识别实现有希望的性能。这种端到端解决方案的一个挑战是在自然L2语音上缺乏人类注销的音素。在这项工作中，我们通过伪标记（PL）程序利用未标记的L2语音，并扩展基于预先训练的自我监督学习（SSL）模型的微调方法。具体而言，我们使用WAV2VEC 2.0作为我们的SSL模型，并使用原始标记的L2语音样本以及创建的伪标记的L2语音样本进行微调。我们的伪标签是动态的，是由在线模型的合奏生成的，这确保了我们的模型对伪标签的噪声具有强大的功能。我们表明，使用伪标签进行微调可实现5.35％的音素错误率降低和2.48％的MDD F1得分在仅标签样本的基线基线。提出的PL方法还显示出优于常规的离线PL方法。与最先进的MDD系统相比，我们的MDD解决方案会产生更准确，一致的语音误差诊断。此外，我们对单独的UTD-4ACCENTS数据集进行了开放测试，在该数据集中，我们的系统识别输出基于重音和清晰度，与人类感知有着密切的相关性。

许多社交媒体用户更喜欢以视频​​而不是文本的形式消耗内容。但是，为了使内容创建者以高点击率生成视频，需要许多编辑才能将素材与音乐匹配。这员发出了更多适合业余视频制造商的额外挑战。因此，我们提出了一种新的基于关注的VMT（视频音乐变压器），它自动生成来自视频帧的钢琴分数。使用模型生成的音乐还可以防止潜在的版权侵权，这些版权往复使用现有音乐。据我们所知，除了拟议的VMT之外，没有任何工作，旨在为视频撰写音乐。此外，还缺少具有对齐视频和符号音乐的数据集。我们释放了一个由7小时超过7小时的钢琴分数组成的新数据集，在流行音乐视频和MIDI文件之间进行精细对齐。我们对VMT，SEQSEQ模型（我们的基线）和原始钢琴版原声带进行人体评估进行实验。 VMT通过对音乐平滑度和视频相关性的基线实现一致的改进。特别是，通过相关性分数和我们的案例研究，我们的模型已经显示了多模对帧级演员的音乐生成运动的能力。我们的VMT模型以及新数据集具有有希望的研究方向，旨在为视频进行匹配的匹配原声。我们在https://github.com/linchintung/vmt发布了我们的代码

发现危险场景在测试中至关重要，进一步改善驾驶政策。然而，进行有效的驾驶政策测试面临两个关键挑战。一方面，在测试训练有素的自主驾驶策略时，自然遇到危险情景的可能性很低。因此，通过纯粹的现实世界的道路测试发现这些情景非常昂贵。另一方面，这项任务需要正确确定事故责任。收集错误归属责任的情景将导致过度保守的自治驾驶策略。更具体地说，我们的目标是发现是自主车辆负责（AV-Orderible），即测试驾驶政策的脆弱性的危险场景。为此，这项工作通过基于多智能体增强学习来查找AV负责的方案（星）提出了安全测试框架。星星指导其他交通参与者生产AV-Consocalize情景，并通过引入危险仲裁奖励（Har）来制作不受检测的驾驶政策行为不端行为。哈尔使我们的框架能够发现多样化，复杂和AV负责任的危险场景。针对三种环境中四种不同驾驶政策的实验结果表明星星可以有效地发现AV负责任的危险情景。这些方案确实对应于测试驾驶策略的漏洞，因此对其进一步的改进是有意义的。

3D视觉输入的对象操纵对构建可宽大的感知和政策模型构成了许多挑战。然而，现有基准中的3D资产主要缺乏与拓扑和几何中的现实世界内复杂的3D形状的多样性。在这里，我们提出了Sapien操纵技能基准（Manishill）以在全物理模拟器中的各种物体上基准操纵技巧。 Manishill中的3D资产包括大型课堂内拓扑和几何变化。仔细选择任务以涵盖不同类型的操纵挑战。 3D Vision的最新进展也使我们认为我们应该定制基准，以便挑战旨在邀请研究3D深入学习的研究人员。为此，我们模拟了一个移动的全景摄像头，返回以自我为中心的点云或RGB-D图像。此外，我们希望Manishill是为一个对操纵研究感兴趣的广泛研究人员提供服务。除了支持从互动的政策学习，我们还支持学习 - 从演示（LFD）方法，通过提供大量的高质量演示（〜36,000个成功的轨迹，总共〜1.5米点云/ RGB-D帧）。我们提供使用3D深度学习和LFD算法的基线。我们的基准（模拟器，环境，SDK和基线）的所有代码都是开放的，并且将基于基准举办跨学科研究人员面临的挑战。

In this paper, we propose a novel meta learning approach for automatic channel pruning of very deep neural networks. We first train a PruningNet, a kind of meta network, which is able to generate weight parameters for any pruned structure given the target network. We use a simple stochastic structure sampling method for training the PruningNet. Then, we apply an evolutionary procedure to search for good-performing pruned networks. The search is highly efficient because the weights are directly generated by the trained PruningNet and we do not need any finetuning at search time. With a single PruningNet trained for the target network, we can search for various Pruned Networks under different constraints with little human participation. Compared to the state-of-the-art pruning methods, we have demonstrated superior performances on Mo-bileNet V1/V2 and ResNet. Codes are available on https: //github.com/liuzechun/MetaPruning. This work is done when Zechun Liu and Haoyuan Mu are interns at Megvii Technology.

The ability to jointly learn from multiple modalities, such as text, audio, and visual data, is a defining feature of intelligent systems. While there have been promising advances in designing neural networks to harness multimodal data, the enormous success of data augmentation currently remains limited to single-modality tasks like image classification. Indeed, it is particularly difficult to augment each modality while preserving the overall semantic structure of the data; for example, a caption may no longer be a good description of an image after standard augmentations have been applied, such as translation. Moreover, it is challenging to specify reasonable transformations that are not tailored to a particular modality. In this paper, we introduce LeMDA, Learning Multimodal Data Augmentation, an easy-to-use method that automatically learns to jointly augment multimodal data in feature space, with no constraints on the identities of the modalities or the relationship between modalities. We show that LeMDA can (1) profoundly improve the performance of multimodal deep learning architectures, (2) apply to combinations of modalities that have not been previously considered, and (3) achieve state-of-the-art results on a wide range of applications comprised of image, text, and tabular data.